Unsupervised Differentiable Multi-aspect Network Embedding

简介

论文传送门

大部分网络嵌入方法都聚焦于学习节点的单个表示，这些方法并不能够建模节点多个方面(aspect)的信息。为了捕捉节点多方面的信息，现有的方法依赖于一个前置的图聚类步骤来得到节点的方面分布。但作者认为这种方法忽略了节点的上下文信息，让节点具有了固定的方面分布，而且也不利于端到端的训练，令最后得到的表示依赖于聚类过程。

在该论文中，作者提出一个基于DeepWalk的多方面网络嵌入的端到端框架，称作asp2vec，其中每个节点的方面根据其局部上下文动态的赋予，并使用Gumbel-Softmax trick实现方面选择模块的梯度可传导。另外，还引入了一个方面正则框架来根据方面之间的相关程度和多样性来捕捉方面之间的交互。该框架还可以推广到异质网络上。

方法

Context-based Multi-aspect Network Embedding

$$\begin{aligned} \mathcal{J}_{\text {asp } 2 \text { vec }}^{(\mathbf{w})} &=\sum_{v_{i} \in \mathbf{w}} \sum_{v_{j} \in N\left(v_{i}\right)} \sum_{s=1}^{K} p\left(\delta\left(v_{i}\right)=s\right) \log p\left(v_{j} \mid v_{i}, p\left(\delta\left(v_{i}\right)=s\right)\right) \\ &=\sum_{v_{i} \in \mathbf{w}} \sum_{v_{j} \in N\left(v_{i}\right)} \sum_{s=1}^{K} p\left(\delta\left(v_{i}\right)=s\right) \log \frac{\exp \left(\left\langle\mathbf{P}_{i}, \mathbf{Q}_{j}^{(s)}\right\rangle\right)}{\sum_{v_{j^{\prime}} \in \mathcal{V}} \exp \left(\left\langle\mathbf{P}_{i}, \mathbf{Q}_{j^{\prime}}^{(s)}\right\rangle\right)} \end{aligned}$$

其中$\mathbf{P}_i$是节点 $i$ 的中心向量，$\mathbf{Q}^{(s)}_j$ 是节点 $j$ 方面 s 的表示。

Determining the Aspeck of the Center Node

$$\begin{aligned} p\left(\delta\left(v_{i}\right)=s\right) & \equiv p\left(\delta\left(v_{i}\right)=s \mid \mathcal{N}\left(v_{i}\right)\right)=\operatorname{softmax}\left(\left\langle\mathbf{P}_{i}, \text { Readout }^{(s)}\left(\mathcal{N}\left(v_{i}\right)\right)\right\rangle\right) \\ &=\frac{\exp \left(\left\langle\mathbf{P}_{i}, \operatorname{Readout}^{(s)}\left(\mathcal{N}\left(v_{i}\right)\right)\right\rangle\right)}{\sum_{s^{\prime}=1}^{K} \exp \left(\left\langle\mathbf{P}_{i}, \text { Readout }^{\left(s^{\prime}\right)}\left(\mathcal{N}\left(v_{i}\right)\right)\right\rangle\right)} \end{aligned}$$

这里Readout函数采用Average function。

Modeling Relationship Among Aspects

我们希望各方面的表示既具有（1）多样性diverse，这样可以独立地捕捉各方面内在的性质；但也应该具有（2）关联性related，这样可以在一定程度上捕捉不同方面之间共享的一些信息。

方面正则框架如下：

$$\operatorname{reg}_{\mathrm{asp}}=\sum_{i=1}^{K-1} \sum_{j=i+1}^{K} \mathrm{A}-\operatorname{sim}\left(\mathrm{Q}_{*}^{(i)}, \mathrm{Q}_{*}^{(j)}\right)$$ $$\mathrm{A}-\operatorname{sim}\left(\mathrm{Q}_{*}^{(i)}, \mathrm{Q}_{*}^{(j)}\right)=\sum_{h=1}^{|V|} f\left(\mathrm{Q}_{h}^{(i)}, \mathrm{Q}_{h}^{(j)}\right)$$

相似性使用余弦距离：

$$f\left(Q_{h}^{(i)}, Q_{h}^{(j)}\right)=\frac{\left\langle Q_{h}^{(i)}, Q_{h}^{(j)}\right\rangle}{\left\|Q_{h}^{(i)}\right\|\left\|Q_{h}^{(j)}\right\|}, \quad-1 \leq f\left(Q_{h}^{(i)}, Q_{h}^{(j)}\right) \leq 1$$

以上的正则可以鼓励多样性，但我们还应该考虑关联性。因此引入一个二元掩子来根据相似度来选择性的惩罚方面嵌入对:

$$w_{i, j}^{h}=\left\{\begin{array}{l} 1, \quad\left|f\left(\mathbf{Q}_{h}^{(i)}, \mathbf{Q}_{h}^{(j)}\right)\right| \geq \epsilon \\ 0, \quad \text { otherwise } \end{array}\right.$$

其中 $\epsilon$ 是一个阈值参数，其可以控制方面嵌入对之间的信息共享的程度：大值鼓励关联性，小值鼓励多样性。

$$A-\operatorname{sim}\left(Q_{*}^{(i)}, Q_{*}^{(j)}\right)=\sum_{h=1}^{|V|} w_{i, j}^{h}\left|f\left(Q_{h}^{(i)}, Q_{h}^{(j)}\right)\right|$$

Task: Link Predicaton

$$\mathrm{U}_{i}=\mathrm{P}_{i}+\frac{1}{K} \sum_{s=1}^{K} \mathrm{Q}_{i}^{(s)}$$

结论

在这篇论文中，作者提出了多方面的网络嵌入方法，称作asp2vec，该方法基于节点的上下文信息动态的决定节点的方面。asp2vec的主要部件是（1）方面选择模块，其基于Gumbel-Softmax trick来近似离散采样方面并能够实现端到端的训练；（2）方面正则模块，其鼓励学习到的方面嵌入具有多样性，并在一定程度上和其他方面相关。作者还论述了如何将该框架扩展到异质网络。

思考

在采用skip-gram的步骤中，target node使用中心向量，context node 使用同一个方面的嵌入，这样的假设具有一定合理性，但适用性有限。